STAR : Sentence Translation Alignment Rate for Document-to-Document Machine Translation
STAR:文档到文档机器翻译的句子翻译对齐率与偏好优化
🧭 LLM 文档级翻译的结构对齐评估与偏好优化
Soochow University, Suzhou, China · Alibaba Group, Hangzhou, China
提出 STAR 结构对齐指标与 StarPO 偏好优化,使紧凑模型在 Doc2Doc 翻译中超过 GPT-4o 且更省 token
📌 工作参考价值(4 点)
- 将 STAR 的句子级结构对齐思想迁移到生成式推荐/广告文案:对输入商品属性、卖点与输出文案做句子或字段级对齐检查,量化漏生成、幻觉、错位比例,作为离线评估或 reward 信号,避免 LLM 漏掉关键卖点或编造属性。
- StarPO 的动态掩码偏好优化可用于训练可控生成:先按结构对齐分数排序候选,构造偏好对时只对错位片段计算 loss / 梯度,减少无关 token 干扰,提升对业务约束(如必须包含关键词、数据字段)的遵守率。
- 紧凑模型 + 结构化偏好优化在特定任务可超过 GPT-4o 且 token 效率更高;在低延迟、高吞吐的电商生成场景中,可优先用小模型配合针对性的对齐训练,不必盲目依赖大模型 API。
- 对 RAG / Agent 多步生成也可借鉴:在检索结果摘要、reasoning 步骤输出中增加源-目标结构保真度检查,防止 Agent 遗漏关键检索信息或幻想额外事实。